Recientemente, Google anunció el lanzamiento de un nuevo modelo de lenguaje visual (VLM), llamado PaliGemma2Mix. Este modelo combina las capacidades de procesamiento de imágenes y procesamiento de lenguaje natural, pudiendo comprender simultáneamente información visual y entrada de texto, y generar la salida correspondiente según sea necesario. Esto marca un nuevo avance en el procesamiento de múltiples tareas dentro de la inteligencia artificial. PaliGemma2Mix ofrece funciones muy potentes, incluyendo la descripción de imágenes, el reconocimiento óptico de caracteres

Con el continuo avance de la inteligencia artificial, la fusión de datos visuales y de texto se ha convertido en un desafío complejo. Los modelos tradicionales suelen tener dificultades para analizar con precisión documentos visuales estructurados como tablas, gráficos, infografías e ilustraciones. Esta limitación afecta la capacidad de extracción y comprensión automática de contenido, lo que a su vez impacta en aplicaciones como el análisis de datos, la recuperación de información y la toma de decisiones. Para abordar esta necesidad, IBM ha lanzado recientemente Granite-Vision-3.1-2B, un modelo de lenguaje visual pequeño diseñado específicamente para la comprensión de documentos.

En la industria de la conducción autónoma, 2025 se considera el "año de la llegada de VLA", lo que marca el surgimiento de un nuevo paradigma tecnológico. VLA, o Modelo de Visión-Lenguaje-Acción (Vision-Language-Action Model), fue propuesto inicialmente por DeepMind en 2023, con el objetivo de mejorar la comprensión y capacidad de respuesta de los robots al entorno. En los últimos años, esta tecnología ha recibido una gran atención en el campo de la conducción autónoma. En comparación con los modelos tradicionales de visión-lenguaje (VLM), VLA

Recientemente, NVIDIA presentó NVILA, su nuevo modelo de lenguaje visual abierto. Diseñado para optimizar la precisión y la eficiencia, NVILA se ha establecido como un líder en el campo de la IA visual gracias a su rendimiento excepcional. Según NVIDIA, NVILA reduce en 4,5 veces el coste de entrenamiento, en 3,4 veces la memoria necesaria para el ajuste fino y casi en 2 veces la latencia en el relleno previo y la decodificación. Estas cifras se basan en comparaciones con otro gran modelo de visión LLaVa OneVision. En el benchmark de vídeo...

NVIDIA, en colaboración con varias universidades, ha presentado NVEagle, un gran modelo de lenguaje visual capaz de mantener conversaciones a partir de imágenes. NVEagle puede analizar el contenido de las imágenes y proporcionar respuestas precisas, como identificar a la persona en una imagen como Jensen Huang. El modelo mejora significativamente la comprensión de la información visual al convertir las imágenes en etiquetas visuales y combinarlas con incrustaciones de texto. Para abordar el desafío del procesamiento de imágenes de alta resolución, el equipo de investigación exploró diferentes codificadores visuales y estrategias de fusión, creando modelos como Eagle-X5-7B y Eagle-X

El equipo de IA de la Universidad Tsinghua ha lanzado CogAgent, un nuevo modelo de lenguaje visual centrado en la comprensión y navegación de interfaces gráficas de usuario (GUI). CogAgent emplea un sistema de doble codificador para procesar elementos GUI y texto complejos, mostrando un rendimiento excepcional con entradas de alta resolución de 1120x1120 píxeles. El modelo supera a los métodos LLM existentes en tareas de navegación GUI en plataformas PC y Android, y también muestra un rendimiento excelente en los benchmarks de preguntas y respuestas de texto y visión. Las aplicaciones potenciales incluyen la automatización de GUI.

Google ha lanzado PaLI-3, un modelo de lenguaje visual de pequeño tamaño que alcanza un rendimiento de vanguardia (SOTA). Este modelo utiliza un método de preentrenamiento contrastivo y explora a fondo el potencial de VIT, mostrando un rendimiento excepcional en la recuperación multimodal multilingüe. PaLI-3 fusiona perfectamente la comprensión del lenguaje natural y el reconocimiento de imágenes, convirtiéndose en una fuerza importante en la innovación de la IA. Su método de preentrenamiento contrastivo basado en SigLIP abre una nueva era en la recuperación multimodal multilingüe. Aunque aún no se ha abierto completamente el código fuente, ya se han publicado los modelos SigLIP multilingüe e inglés para investigación.

Alibaba Cloud ha lanzado Qwen-VL, un modelo de lenguaje visual de código abierto, tras el lanzamiento de Qwen-7B en agosto. Qwen-VL admite chino e inglés y puede realizar generación de títulos de imágenes, preguntas y respuestas sobre imágenes y documentos. Qwen-VL también puede realizar localización visual de dominio abierto en chino, anotando cuadros de detección en imágenes.